AI决策的可靠性和可解释性（上）|「AI伦理与治理」系列4期实录
本文为未来论坛AI伦理与治理系列04期——《AI与风险治理》实录稿，共分主题报告和圆桌讨论两个部分，今天分享的是上半部分，共收录清华大学公共管理学院教授、清华大学人工智能国际治理研究院副院长 梁正《从可解释AI到可理解AI：基于算法治理的视角》，未来论坛青创联盟成员、清华大学计算机系长聘副教授、博士生导师崔鹏《人工智能：从“知其然”到“知其所以然”》，上海交通大学副教授 张拳石《可解释性博弈交互体系：对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一》，未来论坛青创联盟成员、北京大学计算机科学技术系讲席教授、高可信软件技术教育部重点实验室（北京大学）副主任、北京大学信息技术高等研究院数据驱动软件开发实验室主任 谢涛《AI可靠性和可解释性：软件工程视角》四个主题报告。圆桌讨论实录部分将于近期分享。
导语 / Introduction
随着 AI 的发展和广泛应用，研究者和开发者面临的挑战是理解和追溯算法如何得出结果。可解释的AI，可使人类用户和开发者能够理解和信任机器学习算法所产生的结果和输出。了解AI的系统如何生成特定输出，可以帮助开发者确保系统按预期运行，建立可定义的监管标准，并以此对 AI 进行模型监视和问责，最终降低生产 AI 的合规性、法律、安全和声誉风险。
本期活动，将阐明公众、政策法规和AI技术研究与开发者对AI可解释性的理解和需求上的不同，分享AI的可解释性、稳定性和鲁棒性、可回溯可验证三个方面的技术研究和解决方案，共同探讨实现AI可解释可靠的道路。
主题报告
@梁正《从可解释AI到可理解AI：基于算法治理的视角》
1.可靠的AI应该具备四大要素：安全、公平、透明、隐私保护。因此，“可信任”和“可解释”是正向相关关系，尤其对用户和公众而言，实现算法可解释是确保可靠和信任的重要一环。
2.所谓“负责任的人工智能”，它有两个基石：一是从技术角度去解决其因果机制的构建问题，二是从制度角度赋予个人和主体可解释的权利。
3.目前的问题在于，较之于欧美，我国的规则比较分散，缺乏实施的细则和操作指引；在算法治理上，统一协调负责的监管机构还不明确。
4. 未来算法治理的两大方向比较明确：一是可问责性，二是可解释性。基于算法治理的视角，我今天要讲的题目是“从可解释AI到可理解AI”。鉴于我所在的清华大学公共管理学院和人工智能国际治理研究院在人工智能方面开展了诸多的政策研究，所以我更多从公共治理和技术规制的视角去理解和认识“可解释AI”。
首先，需要知道为什么要关注AI或者算法的可解释性。今天机器学习的主流呈现出“黑箱”的特点，普通用户很难观察到数据训练的中间过程，这样的特征导致AI对我们而言处在不可知的状态。黑箱问题也带来了难以控制、歧视偏见和可能存在的安全风险，使得我们对算法信任产生怀疑。一些重要的应用领域尤其如此，比如医疗健康、金融、司法领域，包括自主决策的AI系统，算法可解释性是非常重要的应用依据，特别是在金融领域，一些监管机构也提出可解释性是应用的a先决条件。（如图1）
什么是算法的“可解释性”？学界从不同的角度来认识，国外学者以及部分国内学者认为“可解释性”是可以提供细节和决策的依据，能够被用户简单清晰的认识和理解。从法律法规角度来看，欧盟《通用数据保护条例》（以下简称“GDPR”）规定在自动化决策中用户有权获得决策解释，处理者应告知数据处理的逻辑、重要性，特别是影响后果，这是学理层面、政策层面上的“AI可解释性”。
“可解释”和“可信任”之间是什么关系？如图2所示，普通用户对“可解释”的认知更多的是可理解，即不需要掌握更多专业知识但可以简单清晰地理解自动化决策的原因和根据，这涉及与“可理解”含义的关系。什么是“可信任”“可靠性”？从用户角度来说，AI应该是可靠的，即不能出错、不能产生风险、不能损害我们的利益或者安全。由此，可靠的AI应该具备四大要素：安全、公平、透明、隐私保护。因此，“可信任”和“可解释”之间是正向相关关系，尤其对用户和公众而言，实现算法可解释是确保其可靠和信任的重要一环。
算法可能带来的风险有哪些？即不可靠的因素或者风险因素何在——比如歧视和偏见问题，由于技术本身的局限可能现阶段带来的可能的安全问题，因与社会系统嵌合而产生的数字劳工劳动受限的问题，还有信息推荐领域基于用户偏好的信息投递而可能存在的“信息茧房”问题等。它们和我们所使用的数据和算法相关，也与AI及深度学习本身的特点相关。各国在算法治理方面有不同的探索，也有共性和经验：
欧盟在数据治理和算法治理方面的特点是自上而下，规则制定色彩比较浓厚，也提出特别明确的原则——以“透明性”和“问责性”保证算法公平。“透明性”就是指AI可解释性，即决策数据集、过程和决策可追溯性，决策结果可以被人类（包括监管部门、社会公众）理解、追踪。“问责性”则规定如何保证AI是负责任的、安全的，要建立问责机制、审计机制以及风险损失的补救措施。具体治理路径是把数据权利赋予个人，在GDPR中规定了知情权、访问更正权、删除权、解释权，赋予个体广泛的数据权利。从欧盟近期出台的《数字服务法》、《数字市场法》等一系列法律法规来看，其未来的发展方向更倾向于强化法律责任制度，设定严格的责任，通过事后严格追责来保证在AI的设计和应用上是负责任的、可信的。比如强制保险制度，法律上对AI损害的侵权判定不需要了解其技术细节，只需要认定侵害行为和损害之间的因果关系即可构成侵权。举例而言，近期意大利数据保护机构对一家外卖快递公司处以罚款，原因在于该平台通过算法自动处罚骑手，如果骑手的评分低于某个水平，就可以停止其工作。监管机构认为该处罚原则是一种歧视，因为骑手没有能力争辩，也不了解这样的评判是基于何种标准。所以，公司对于这样的算法应用应该做出解释，员工应该有知情权。
与欧盟不同，美国采用了另一条路径，其联邦层面并没有统一制定算法治理的相关法律，而是采取自下而上的、分散化、市场化的治理路径。比如，纽约市最早出台算法问责法，对于政府使用的算法（比如教育领域、公共部门）进行监管与问责，麻省、加州、纽约市等多个州和城市禁止政府和司法部门使用面部识别技术；此外，加州制定的《加州消费者隐私保护法案》（CCPA），赋予公民查询、了解其个人数据收集和使用情况的权利，该治理路径与欧盟GDPR更加接近；在私人主体方面，更多是企业和非政府组织的参与治理，以及部分行业组织进行算法问责工具、算法可解释方案的开发。就行业自律而言，谷歌、微软、Facebook等企业成立了伦理委员会，并推动建立相关标准。相关案例有很多，比如近期Everalbum公司在隐私条款中没有写明的情况下，将算法卖给执法机关和军方，涉嫌欺骗消费者，最终被美国联邦贸易委员会（FTC）处罚。这是一个具有标志性意义的处罚判定，不仅仅要求其删除数据，还要求删除非法取得的数据照片所训练出的人脸识别技术。以上是国外治理的最新进展。
从国内来看，现阶段我国对算法治理路径的探索，已经初步形成了框架体系。在“软法”也即规范原则方面，科技部发布了《人工智能治理原则》，全国信息安全标准化技术委员会(信安标委)发布了《人工智能伦理安全风险防范指引》，以及最近多个部门在相关领域所出台的针对平台企业或者针对某个特殊领域的数据管理、算法治理相关的规章制度。与此同时，多部“硬法”也正在密集地研究制定和实施当中，比如已经实施的《电子商务法》《网络安全法》，即将实施的《数据安全法》和即将通过的《个人信息保护法》等多个部门规章。目前的问题在于，较之于欧美，我国现有的监管规则比较分散，缺乏实施的细则和操作指引；在算法治理上，统一协调负责的监管机构还不明确。中央网信办在某种程度上起到牵头协调作用，但在具体领域相关的职能部门要发挥更多作用。
在产业界，部分企业开始建立内部治理机制，比如治理委员会，对数据的采集、利用，以及算法设计等问题进行规制，但整个行业自治机制尚不成熟，同时也缺乏外部监督。基于人工智能算法可能存在的风险，并进一步借鉴国外的已有经验，未来算法治理的两大方向比较明确（如图3所示）：一是算法可问责，主要是明确算法责任主体，对于监管部门而言，不是做技术规制而是做责任的划分，即一旦出现问题，谁应该承担责任，包括算法审计制度，也即对算法应用的监督、安全认证制度，也即算法设计要遵循一定的标准、规范、制度、规则，以及算法影响的评估制度。二是可解释性，技术上如何实现可解释，以及制度上如何赋予个人要求解释的权利，进而反作用于算法的设计以达到公平合理的目标。
具体来看，目前的实践性探索集中在《个人信息保护法》层面，主要为自动化决策场景中算法治理的尝试，包括明确提出对算法影响的评估，规定利用个人信息进行自动化决策需进行事前评估、算法审计；特别是赋予个体权利，保障自动化决策透明度和结果的公平合理，对个人权益有重大影响的领域（比如金融、医疗等）个人有权要求信息处理者予以说明，并有权拒绝仅通过自动化决策的方式作出决定。
在自动化决策场景下的治理探索方面，央行在人工智能算法金融应用领域设立了评价规范，提出对算法可解释性要从全过程的角度提出基本要求、评价方法与判定标准等。人社部在关于就业形态灵活化与劳动者权益保障方面，提出外卖平台在基本的业务模型设计上，应该对其制度规则和平台算法予以解释，并将结果公示或告知劳动者。中宣部在关于加强网络推荐算法的内容监管方面，也提出综合治理的要求。所以，未来的算法治理基于可解释性、基于可靠性的方向较为明确，所谓“负责任的人工智能”，它有两个基石：一是从技术角度去解决其因果机制的构建问题，二是从制度角度赋予个人和主体可解释的权利。
就未来可能的治理方向而言，对于算法未来的目标是分领域、分级的治理，比如人身安全领域和商业领域可能要进行分类处理。在坚持安全、公平、透明和保护隐私的基本原则上实现“负责任的AI”（如图4所示），算法的“黑箱”特征和复杂性不能成为逃避治理的借口，应该在保护人们基本权利的基础上设定底线，在算法性能和安全之间进行权衡，推动技术界去改良算法。此外，应当在算法治理中识别和区分规则问题和技术问题，认识到算法设计不单单是机器学习的结果，还需要对算法设计人进行约束，找到问责主体。而对于技术缺陷，则应该通过技术进步，以及相应的标准规范与安全要求去引导技术开发。最后，应该提出算法可解释的评估指标和监管政策，研究提出全流程的监管政策，定期评估AI系统的生命周期和运转状态。有专家对于AI可解释性的具体方式存在争议——是公开模型、源代码、运算规则，还是决策的权重因素，这是否会影响到企业的商业秘密等，这些都是亟待下一步研究明确的问题。
整个算法治理包括可解释性、可靠性，都是非常复杂的问题，我在此主要从制度、规范，以及观念认识的角度进行初步介绍，也期待技术专家们从更专业的角度对这个问题进行深入分析。
@崔鹏《人工智能：从“知其然”到“知其所以然”》
1. 人工智能的治理需要实现从知其然到知其所以然的跨越。“然”就是数据里的关联，“所以然”是数据里的因果。
2. 不可解释会带来什么后果呢——人和机器之间没有办法协同。任何两个主体之间要想协同，必须具备所谓的“共同语言”。
3.如果无法理解机器的输出，就无法在这样的风险敏感型领域放心应用此类技术，这是当前人工智能技术在向实际应用渗透的最大障碍。
4. 目前人工智能应用的困境可以归纳为不可解释、不稳定、不公平、不可回溯，将因果引入机器学习可能是突破当前人工智能局限性的一个重要途径。从2016年开始，人工智能（尤其是深度学习）发展得如火如荼的时候，我们课题组就开始考虑，如果按照当前的技术演进方向，最终AI系统的本质缺陷以及它会带来一些什么样的风险，我们应该如何应对。最终归结为一句话，人工智能的治理需要实现从知其然到知其所以然的跨越。
对于人工智能的现状，我们认为它是知其然但不知其所以然。当前的人工智能最擅长解决什么问题呢？可以称之为“What-problem”，也就是“是什么”的问题，比如这个人脸是谁，这个人是不是有某种疾病，擅长回答是什么的问题。不擅长回答的是“Why-problem”，也就是“为什么”的问题。如果我们问这个算法为什么做出这样的预测或者决策，这个模型是不能给出我们答案的，而这样的局限带来了一系列应用层面的风险。（见图5）
首先，当前主流的机器学习方法是黑箱模型，导致无法对当前模型的预测给出一个解释，它的不可解释会带来什么后果呢——人和机器之间没有办法协同。任何两个主体之间要想协同，必须具备所谓的共同语言。如果机器的输出人不懂，人的输出机器不懂，导致人和机只能取其一，导致“1+1=1”，要么就全信机器，要么就全不信。在很多风险敏感型的领域，医疗、军事、金融、工业，人不可能完全信赖一个机器的决策。这种情况下，如果无法理解机器的输出，就会导致没有办法在这样的风险敏感型领域放心应用这样的技术和系统，这是当前人工智能技术在向实际应用渗透的最大障碍。
其次，第二个风险是缺乏稳定性。当前主流人工智能方法都有一个基本的统计学上的假设——“独立同分布”（如图6所示），即我们所训练的模型和所测试的模型要求是一个分布，换句话说，就是要求测试模型的数据和训练模型的数据“长得像”，只有在长得像的情况下，我们现在这个模型的性能才是有保障的。而如果测试这个模型的数据分布和训练分布存在偏差，从理论和实际角度来讲，这个模型的性能不稳定且没有保障。在实际的应用过程中，其实很难保证一个模型的测试分布和训练分布是一致的。比如无人驾驶，我们在开发无人驾驶汽车视觉模块的时候会采集很多特征来训练这样的视觉模块，训练出来以后，再在特定的训练数据分布下训练该模块。当实际产品上线后，没有办法保证司机会将该汽车驾驶到什么样的城市，以及这个城市的分布和训练数据分布是否大体一致。不管是从理论和性能上，现在的模型都没有办法保证性能稳定，这也就是为什么现在大家看到无人驾驶汽车在开放的环境下会发生一些人完全没有办法理解的低级错误。
其三，公平性。举一个简单直接的例子：在美的司法系统中，要通过预测这个犯人释放以后的二次犯罪率，作为对其减刑或者释放的重要参考指标。从家庭背景、收入水平、受教育水平等等各个层面考虑，两个犯罪嫌疑人基本差不多，只是因为一个是黑皮肤、一个是白皮肤，在人工智能系统里，最后的判定是黑皮肤犯罪嫌疑人的二次犯罪率比白皮肤高十倍以上。换言之，俩人的其他背景都差不多，只是因为肤色不一样而导致结果相差甚大，显然这样的预测和决策是不公平的。而现在大量人工智能技术都倾向于给出这样的不公平预测或者决策。
其四，不可回溯性。现在的人工智能系统，鉴于其黑箱模型的实质，即使知道最后输出是错的，却并没有办法回溯回去以获悉到底因为哪个参数或者哪个特征的错误导致了最后的错误输出。也就是说整体的过程不可回溯，导致了即使模型出错，也并不知道板子要打到谁身上。
所以，目前人工智能应用的困境可以归纳为不可解释、不稳定、不公平以及不可回溯。而其中的不可解释直接导致了人对于人工智能系统的不理解。然而，一项新技术一定要加以理解才能够放心投入应用吗？也不一定。比如汽车的使用，并不是所有人都理解车的动力学原理、发动机原理，为什么敢用呢？因为它高度可靠。但是人工智能技术因为不稳定、不公平，导致它的性能并不那么可靠。也就是说，人不能够在不理解的情况下信任AI技术。再者，因为不可回溯，一旦系统出了问题就难以归责，不知道板子要打到谁身上，故而很难建立一套保障体系。因此当前人工智能应用困境可以归结为：不理解、不信任、没保障，这是现在所面临的巨大挑战。
为什么现在的AI技术会产生这一系列的问题呢？追根溯源是因为机器学习的统计学基础关联统计，我们只在意所有输入信息和输出信息之间的“平”的关联结构，这样的关联结构大部分的关联模式都是虚假性的。比如，历史数据里可以发现收入和犯罪率、肤色和犯罪率是强关联的。如果基于因果框架，用因果统计替代关联统计，可以发现收入和犯罪率是强因果关系，低收入群体更倾向于犯罪，肤色和犯罪率并没有很强的因果关系。为什么肤色和犯罪率出现强关联呢？背后原因是黑皮肤这个群体在某些特定国家收入偏低，因为收入低导致犯罪率高，而不是肤色直接导致犯罪。所以如果把原来那套不是非常严格可靠的关联统计框架，转变成一套更严格的因果统计框架，可能在解释性、稳定性、公平性、可回溯性方面都有很好的解决路径。所以，将因果引入机器学习可能是突破当前人工智能局限性的一个重要途径。（见图7）
从2016年开始，我们开始关注怎么样实现因果和人工智能的结合，目标是实现因果启发的学习、推理和决策，从而能够从辨识理论、学习模型、和决策机制方面全面的引入因果统计框架，建立因果启发机器学习理论的方法体系。近年来，在因果启发的机器学习方面取得了一些重要进展，最终发现了一种通过全局样本赋权的方式，通过样本赋权的操作，能够将线性模型、非线性等深度学习模型进阶成为因果启发的模型，从而为机器学习模型的可解释性、稳定性、公平性提供一定理论基础。从应用角度来讲，它的使用效果有突出表现，在工业4.0、新能源、通信等领域也得到了广泛应用。
人工智能进入深水区以后必然要求可解释性、稳定性、公平性和可回溯性。为什么当前人工智能技术做不到这些？总结一句话就是知其然但不知其所以然。“然”就是数据里的关联，“所以然”是数据里的因果。所以人工智能基层理论需要基础性的变革，因果启发的机器学习可能成为新一代人工智能的突破口。
- Martin David -
@张拳石《可解释性博弈交互体系：对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一》
1.解释性需要更深更强的理论基础，这里面有两个关键词——统一体系、去芜存菁。
2.打通符号表达与神经网络表达的壁垒，我们需要在统一体系里进行建模，才能得出可靠结果。
3.我们不仅要建模语义、解释语义还要解释它的泛化能力。我的报告从技术细节来展开，报告题目是“可解释性博弈交互理论体系：对归因权重、鲁棒性、泛化性、视觉概念和美观性的统一”。
解释性发展的现状如图8所示，不同的人从不同方向去解释神经网络，人们从语义层面、从数学层面解释神经网络，目前解释性的发展课题方向五花八门，没有统一框架。语义层面解释神经网络主要是解释神经网络用哪些语义进行预测，以进一步量化神经网络的可靠性、可信度。需要基于重要特征的解释性与神经网络进行交流式地学习，最后怎样评价神经网络的解释结果，要从语义层面认知神经网络所建模的知识。解释神经网络的数学表达能力包括如何建模或解释神经网络表达能力。现在很多人关注神经网络结构，如何在结构与知识表达之间建立关系，如何在知识表达与最终性能之间建立关系，如何解释经典的深度学习算法。最终目标是Debug神经网络，用少量的样本更精准地修复神经网络并提升神经网络性能。大家发力方向各有不同，但都是解释神经网络，或都是解释人工智能系统。
可视性科学更多的是一门工程性技术，而不是科学。不同人从不同角度解释神经网络，比如数据层面、语义表达层面，不成体系。想要根本上克服一些问题，需要从语义层面解释神经网络。首先，我们要保证语义的严谨性。比如，通过神经网络建模了某个物体的组成部分，神经网络是否严格、真实地建模了这一部分，需要保证这部分语义的严谨性。举例而言，通过神经网络建模了“猫”的头部，是否严谨、严格地对猫的头部进行建模，而不是建模其他部分。其次，建模输入像素或者输入区域在神经网络预测中的重要性，要严格、准确地做到语义的严谨性、归因数值的严谨性。
我们需要为神经网络表达能力提出更多的解释性指标，以分析神经网络的表达能力。解释性需要更深更强的理论基础，这里面有两个关键词——统一体系、去芜存菁。
不同人从不同角度解释神经网络，有人从特征迁移性上解释神经网络，有人去解释神经网络的对抗鲁棒性，有人研究神经网络变化的复杂度、泛化能力、特征结构性、特征交互性等等，这些研究各自为战，每个研究都能自圆其说，但都建立在各自独特的理论基础与假设框架之上。这些方法只能做到自圆其说，而不能相互印证。要做到不同算法相互印证，就要把算法放到统一体系里，这样才能保证不同研究的可靠性，才能确保解释结果的可靠性以及研究成果的可信任性。因而，要把不同的研究放在同一个理论体系下打通它们的内在关系。
在去芜存菁层面，现在存在诸多深度学习技术，而真正有效有用的深度学习技术大多基于人的经验或者人的直觉感知去设计神经网络结构，但究竟什么样的内在机制真正在起作用却不得而知。我们只知道，为了实现某个功能，不同方法均为有效，而目前并不确定真正有效的、或者最有效的因素是什么。我们希望从不同因素中总结出真正有效的因素，从而设计出更加可靠的指标，以指导神经网络的结构设计、指导神经网络的训练，这是解释性的未来发展方向。
近三年，我们利用博弈交互理论体系做了一些研究。从博弈论层面定义了多变元博弈交互，证明了它们的一些性质，并且进一步完善了博弈交互解释性的理论体系。在神经网络解释方面，可以通过该理论解释神经网络的泛化能力、解释神经网络所建模的语义层次结构、解释神经网络所建模的视觉特征（比如形状特征）等等；此外，在表达方面能够解释神经网络的对抗迁移性、对抗鲁棒性，还有输入视觉图片的美观度。总之，可以在一个体系内解释神经网络的各个方面。
归根到底这么做的原因何在——我们还是希望把解释性算法做得更扎实、更牢靠，以得到更可靠的解释结果。为此，我们需要对神经网络算法提出一些要求，从而在统一理论体系下完善解释性理论本身，在统一理论体系下解释什么叫“语义”，什么叫“对抗鲁棒性”，什么叫“泛化能力”，什么叫“迁移性”等等。要想打通符号表达与神经网络表达的壁垒，我们需要在统一体系里进行建模，才能得出可靠结果。此外，在去芜存菁的过程中，现在真正有效的算法主要是经验主义算法，神农尝百草式的，我们的理想是理论证明算法的有效性，或者提取不同算法的公共机理，找到内在真正本质的机理。
首先，什么是“博弈交互”？简单来说是多个单词或多个像素间的交互。神经网络不是拿单个单词去推测，而是多个单词之间形成配合、形成短语，这个短语影响了输出结果。对视觉分类任务也是，不同像素之间进行配合，去影响最终的分类结果。我们用一个形象的比喻来帮助理解“博弈交互”的定义，把每个单词、每个像素看作一个小人，这里面有三个小人（也就是三个单词）配合起来的总效用。每个单词分别独立作用的效果差如果等于0，则认为几个单词之间没有交互；如果大于0，则认为几个单词之间互相配合，如果小于0，则几个单词之间是相互对抗的，也是存在交互的。很重要的是，“博弈交互”可以把神经网络表达转化为不同知识点的效用之和。“神经网络表达”是一种由线性表达转化成的模块化表达，我们要统计出神经网络到底记录了多少个知识点，每个知识点是特定像素的一组交互作用。知识点的定义与使用将从根本上改变神经网络的表达方式。此种表达方式的改变可以对许多事物进行解释，这进一步完善了沙普利值（Shapley Value）的解释性理论体系。
在解释性中，如何判定某个像素或区域对决策结果的重要性，重点是要判断一个像素或者一个区域被遮住和没有遮住时，神经网络输出结果的差异。如果差异较大，则认为该区域或像素重要性较大；如果差异较小，就认为这个区域的重要性较小。至于如何表示、什么叫被遮挡方块，是用一个黑色的方块表示还是平方模糊目前的区域表示，没有界定。如果按博弈交互的方式，可以把神经网络输出表示为不同的知识点，加以符号化，变成知识点效用的和，就可以确定神经网络建模存在的知识点总量，进一步区分神经网络建模的显著知识点和噪声知识点。显著知识点的博弈交互的效用比较大，比如数值上绝对值比较大，而噪声点绝对值趋近于零，是几乎没有效用的知识点。所以寻求一个遮挡状态，使得触发的显著知识点尽可能的少，这样就可以从知识点的层面解释神经网络，从一个统一角度进行建模，数出一个神经网络所触发的信号数量，这是分析神经网络的一个全新的角度。
第二，如何解释数字图像的美观度？美观度没有完整定义，美观的图像降低了人类的认知成本，一眼就能认知背后是什么样的物体。这实际上是提升了大脑对认知的显著度。用人工神经网络模拟真实的人类大脑的神经网络。当人们解读人工智能建模的显著信号和噪声信号时，可以增强显著信号，降低噪声信号。如图9所示，原来是绿颜色的背景变成红颜色。如图9所示，这只猫，原来的色彩分布比较平均，经过调整、提升显著信号后，可以发现猫与右边的背景对比更加强烈了。我们可以从这个角度修改网络的学习目标，进一步提升图像输入的美观程度。
归根到底，什么叫“语义”？什么叫“纹理”？什么叫“形状”？目前学界没有定义。其实博弈交互也可以解释语义表达，比如任何两个像素之间的交互，并不是两个像素之间的问题，而是这两个像素与背景像素相互配合的问题，如果只有少量背景像素与这两个像素配合，往往是简单的视觉特征，这是低阶的交互；如果有大量背景像素与两个像素之间交互配合，这是建模的高阶特征，代表很复杂的形状概念。我们也可以从这个角度去解释神经网络背后针对不同语义的表达、对不同复杂度的表达。
我们不仅要建模语义、解释语义还要解释它的泛化能力。前期工作可以证明Dropout可以降低博弈交互强度，同时我们发现博弈交互强度与泛化能力不相关，且基于此关系可以进一步优化神经网络的泛化；还可以用来解释神经网络对抗迁移性，发现博弈交互的指标与迁移性之间是不相关的。之前提到“去芜存菁”，在提高对抗迁移性算法上，存在诸多基于经验主义的算法，比如加入一些momentum，加入一些动量，加入一些梯度平滑，改变传播的权重等。这些方法确实能够提高对抗迁移性，但是其起作用的本质是什么不得而知。理论证明这几种方法都在降低交互值，人们可以总结出这些经验算法背后的内在机理。基于本质机理指导未来的深度学习，指导对神经网络的解释，是更可靠、更标准的理论。进一步怎么解释对抗鲁棒性。四种对抗的方法，有两种方法检测对抗样本，两种方法提升鲁棒性，都是对最高阶交互的检测，对敏感交互成份的去除。
综上所述，从语义层面和数学层面解释来看，现在解释神经网络更像一个纯工程技术，没有一个统一解释，我们希望尽量让不同的研究纳入到同一体系里，去芜存菁，找到它本质的机理，这样去解释神经网络，其解释性理论、解释结果才会更加可靠。
@谢涛《AI可靠性和可解释性：软件工程视角》
1.AI的可靠性问题因用户对AI系统的过度信赖而被放大。
2.AI系统的未知挑战——应对已知的已知，未知的已知，已知的未知，未知的未知中的最后一个类别。
我分享的内容主要涉及软件工程的视角看AI可靠性、可解释性。在AI和软件工程的交叉领域，智能化软件工程是用AI技术和手段来辅助解决软件工程的问题。而从反方向思考，智能软件工程是用软件工程的技术和手段来辅助解决AI（特别是AI软件）的问题，比如AI的可靠性、可解释性问题。
去年我和软件工程及AI交叉领域的几位研究者共同组织了一期IEEE Software杂志专刊，探讨智能化软件工程和智能软件工程。这期杂志专刊包含有从投稿中通过同行评审选取出来的5篇文章，以及阐述特邀专家观点的一篇文章，包括来自于国内大家很熟知的李开复博士，微软亚洲研究院的张冬梅副院长等都贡献了他们的观点。
切入今天的主题，首先从软件工程视角来看AI系统，很多时候AI模型只是构成AI系统的一个模块，但也有不少AI系统本身就是AI模型，没有外围更多的模块。很多复杂系统由众多模块组成，而AI模块只是其中某个或某些模块，比如自动驾驶系统。就软件系统本身来说，系统从用户那里获取输入，进行一系列操作后再给出输出。前置条件界定了系统可操作的输入范围；在获取到满足前置条件的输入后，一个行为正确的系统会保障产生满足后置条件的输出。如果输出无法满足后置条件，则表明系统出现了问题。
AI系统会面临一些挑战，比如很难刻画需求包括前置条件、后置条件等。2016年微软发布了青少年聊天机器人Tay，有人恶意与其互动，它就变成了种族主义者，所以仅仅存活了24小时就被关了。事后网上有些讨论，认为微软本应该采取诸多预防措施，比如创建一个术语黑名单，当检测别人与Tay的互动中包含这些“禁语”（相当于违反了前置条件），就予以过滤。在Tay输出它说的话之前，当检测到这些话包含“禁语”（不包含“禁语”也就成为了后置条件的一部分），也予以过滤。定义这样的术语黑名单其实很困难，因为既要保证对话自然性，还要保障阻止恶性输入和防止“说错话”输出。如何将此需求落实成很具体的、能够验证、能够保障的需求，具有很大难度。
系统对需求的满足很多时候不是绝对的，而是统计意义上的。（如图10）比如，以自动驾驶系统里的系统需求为例，稳定性、安全性、合规性、舒适度，系统决策要保障四项需求都得到满足，这是比较严格的需求。实践中很难完成，因而优先级是保障稳定性、安全性，因为在开放的环境中（如自动驾驶、聊天机器人等，都是开放式输入）很难判定或者保障需求得到满足。
另外，在AI模型演化的过程中，往往牵一发而动全身。通过增加新训练样本再进行训练产生新版本的AI模型后，虽然整体模型准确度可能会有增量式提升，但对于单个输入的输出行为而言可能会和老版本的模型差异较大，这不太同于传统软件。在使用AI系统时，用户也很难判定输入、输出是否满足需求。
AI的可靠性问题因用户对AI系统的过度信赖而被放大。之前研究发现，在人和机器人的交互过程中，比如当在一个建筑物中机器人带着人去逃生，人会过度依赖于机器人。如果这个机器人没有能够进行很好地引导，就可能造成不小负面效果，人本来可以自行及时找到逃生出口，但由于AI的误导而错过自救时机。
从需求层面看AI可解释性，对于某些AI系统，AI可解释性是需求的重要组成部分；如果仅从需求层面出发，而对于其它一些AI系统，AI可解释性不见得那么重要。（如图11）举例而言，百度发布了其输入法的AI助聊智能预测功能，对用户的对话进行预测下一步要敲什么字句，由用户对预测结果进行确认（这里不一定要解释为什么会预测出这些字句）。由北京大学李戈老师开创的初创公司研发智能编程工具“aiXcoder”致力于代码补全，也是类似的情况——无须对推荐的代码片段进行解释，只是让开发人员对预测结果进行确认以节省敲代码的时间来提高开发效率。但是，可解释性在另外一些场景中非常重要，比如百度输入法的智能帮写系统。如果你利用帮写系统和某人聊天，比如父母和子女聊天，因为年龄代沟，为了写出一些更接地气、更符合子女生活习惯和知识的信息，那就不能盲目采纳被推荐的帮写内容，这里AI可解释就很关键了。包括微软GitHub推出的“AI Pair Programmer”，自动代写大段代码，可解释性也很重要，因为开发人员需要针对自己的需求去花费很多精力来理解和判定自动代写出来的代码是否正确，这与代码补全场景是不一样的。2018年我联合初创的杭州视睿科技公司在解决智能制造包括集成电路、3C产品、LED产品等表面缺陷检测上，也用到深度学习、计算机视觉。我们发现可解释性在开发和演化AI模型上也很关键，它可以帮助我们系统开发人员更好地把握加入或者减少的训练样本对整个模型的影响，这个场景下对模型行为的准确理解至关重要。
下面对应对思路进行探讨：一是怎样基于不可靠的AI模块来创建足够可靠的系统。鉴于数据驱动等的特点，AI模型和AI决策本质上很难做到完全可靠，除了从算法等角度提升AI可靠性外，还要基于系统观从外围提升系统的整体可靠性（即使系统内部AI模块不那么可靠），这是一个重要的研究方向；二是怎样让人与不可靠的AI系统共存（如图12）。这是清华大学车辆与运载学院研究团队在《Nature》的一篇scientific report文章，讲的是人和汽车即将碰撞时人的反应，学者从系统观出发，判定汽车离人应该多远才安全，即所谓的“安全边界”。我们最近的研究工作（去年发表在《IEEE Transactions on Reliability》上）在技术层面对智能车、无人机等通过监控系统内部状态来学习出所谓的“不变量”属性，这与行人的“安全边界”有类似之处。此外，应对思路中还涉及怎么训练使用AI系统的人不过度信任AI系统的问题。
其实AI系统的未知挑战涉及到已知的已知，未知的已知，已知的未知，未知的未知中的最后一个类别。（如图13）右上角是说AI系统知道违反其前置条件或后置条件的情况，右下角是说AI系统不知道其前置条件、后置条件是什么也不知道哪些情况是违反了其前置条件或后置条件的。右下角的情况就很难处理了，这也是我们长期需要应对的一个开放的挑战。
- Marly Gallardo -
主持嘉宾：崔鹏
主讲嘉宾、讨论嘉宾：梁正、崔鹏、张拳石、谢涛、李正风、陶大程
文字整理：卞哲、蒋礼、未来论坛 | 排版：未来论坛
延伸阅读
一张图看懂未来科学大奖评审流程
点击阅读
扫描二维码，手动get
《“未来”科学家—未来科学大奖获奖者访谈实录（2016-2019）》
相关阅读